Sinh ở Midland, tiểu bang Texas, nơi cha của Jeb đang điều hành một công ty khai thác dầu mỏ. Ngay từ khi còn bé, John Ellis Bush đã được gọi với tên "JEB", ghép lại từ ba chữ đầu của tên cậu.

Khi Jeb lên sáu, gia đình dọn đến Houston, Texas. Jeb yêu thể thao, thích môn bóng chày và quần vợt. Lúc đầu cậu học ở một trường công, sau theo học tại một trường tư thục. Khi đang học lớp tám, cha cậu giành được một ghế ở Quốc hội nên phải đến làm việc tại thủ đô, để Jeb ở lại Houston với một gia đình khác hầu có thể hoàn tất năm học, nhưng cậu có thể dành gần hết các mùa hè và những ngày lễ đến sống tại Gia trang Bush.

Sau đó, Jeb theo học tại Học viện Phillips Andover, một trường tư nội trú ở tiểu bang Massachusetts, cũng là trường cũ của ông anh George. Ngay từ học kỳ đầu tiên, Bush có tên trong danh sách danh dự. Cậu tự miêu tả mình là "một gã nhóc khó ưa trong một ngôi trường nhỏ khó sống". Bạn bè nhớ đến Jeb trong hình ảnh một học sinh có kỷ luật và tập trung vào học tập, đến thăm Las Vegas nhưng không uống rượu, cũng không chơi bài mà đi xem Elvis Presley trình diễn.

Khi Bush mười bảy tuổi, cậu đến León, México để dạy Anh văn trong một chương trình trao đổi sinh viên. Khi dự một cuộc đua mô tô, Bush gặp một cô gái dân địa phương tên Columba Garnica Gallo, là người mà cậu kết hôn sau này. Sau thất bại trong cuộc bầu cử thống đốc tiểu bang Florida năm 1994, Bush từ bỏ đức tin Kháng Cách để chấp nhận tôn giáo của vợ, một tín hữu Công giáo sùng tín.

Bush đến học tại Đại học Texas ở Austin, chỉ trong hai năm rưỡi hoàn tất chương trình học và tốt nghiệp năm 1973 với văn bằng cử nhân chuyên ngành Mỹ Latin. Bush đăng ký quân dịch nhưng khi ấy Chiến tranh Việt Nam đã kết thúc.

Sau khi tốt nghiệp, ngày 23 tháng 2 năm 1974, Bush kết hôn với người phụ nữ đầu tiên và duy nhất ông từng hẹn hò, Columba Garnica Gallo. Họ có ba người con: George P. (vừa lập gia đình), John E. "Jeb", Jr. và Noelle.